草庐IT

T14 Gen2

全部标签

hadoop - ubuntu 14.04/64b 安装cloudera manager

我正在我的系统(14.04/64b)中安装ClouderaManager。在最后一步安装时,在完成安装之前我在验证中遇到了一些错误,如下所示,上面页面的错误是,错误1个别主机正确解析了自己的主机名。主机localhost应具有名称localhost但将(InetAddress.getLocalHost().getHostName())本身解析为arul-pc。错误2检查/etc/hosts时发现以下错误...主机名localhost不是地址127.0.0.1的第一个匹配项在本地主机上的/etc/hosts中。相反,arul-pc是第一个匹配项。这FQDN必须是相应IP的/etc/hos

hadoop - nutch1.14去重失败

我在CentOSLinux版本7.3.1611上集成了nutch1.14和solr-6.6.0我在/usr/的种子列表中给出了大约10个urllocal/apache-nutch-1.13/urls/seed.txt我跟着tutorial[root@localhostapache-nutch-1.14]#bin/nutchdeduphttp://ip:8983/solr/DeduplicationJob:startingat2018-01-0915:07:52DeduplicationJob:java.io.IOException:NoFileSystemforscheme:httpa

hadoop - 使用 tera gen 时从 kv.local/172.20.12.168 调用 localhost :8020 failed on connection exception,

我正在使用hadoopteragen检查hadoopmapreduce与terasort的基准测试。但是当我运行以下命令时,hadoopjar/Users/**/Documents/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jarteragen-Dmapreduce.job.maps=1001trandom-data我得到以下异常,17/06/0115:09:21WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourp

ubuntu - Datanode 进程未在 Ubuntu 14.04 的 Hadoop 2.5.2 中运行

我已经使用本指南在Ubuntu14.04上安装了Hadoop2.5.2单节点http://www.vasanthivuppuluri.com/hadoop/installing-hadoop-2-5-1-on-64-bit-ubuntu-14-01/当我输入start-all.sh然后jps输出不显示数据节点进程。hduser@jerrygoyal-Lenovo-B490:~$jps18043NodeManager18327Jps17913ResourceManager17763SecondaryNameNode17018NameNode我也试过Datanodeprocessnotru

azure - 即使使用 hive.merge,Tez : one file per insert, 上的 Hive 0.14。 active

我需要每隔15分钟将数据插入到存储为ORC的不同表中并聚合值。那些INSERT使用动态分区。每个INSERT都会在分区中创建一个新文件,这会减慢我的聚合查询速度。我在网上搜索,发现了一些关于这个案例的主题,比如thisone.所以我在hive-site.xml中添加了这些设置:hive.merge.mapfiles=true;hive.merge.mapredfiles=true;hive.merge.tezfiles=truehive.merge.smallfiles.avgsize=256000000;但即使使用这些设置,每次插入都会在每个分区上创建一个新文件,并且文件不会合并。有

linux - 在 Ubuntu 14.04 上手动安装 Hadoop 多节点集群

我是Hadoop的新手。对于我的大学项目,我们有4个虚拟机。我需要在此配置多模式Hadoop集群(1主3从)并在其上运行我的webapp。我会在我的项目中使用HBase。通常使用CentOS来安装和部署HDP,而我得到的是ubuntu。我无法使用Apacheambari插件进行安装,因为它在Ubuntu中不受支持。我需要手动部署它们,因此我尝试寻找教程。我查找了在ubuntu上安装HDP多节点集群的教程并找到了这个[http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluste

hadoop - 配置单元 0.14.0.2.2.4.10-1 : Multi Insert - Empty partition

我正在尝试使用以下查询进行多次插入。Fromkiran.employee_partepinsertoverwritetablekiran.employee_ext_partpartition(pdept='gbm',pspm='ajay')selectep.id,ep.name,ep.dept,ep.skill,ep.sal,ep.mgr,ep.spm,ep.commentwhereep.pdept='gbm'andep.pspm='ajay'insertoverwritetablekiran.employee_ext_partpartition(pdept='rw',pspm='pr

hadoop - 删除或更新操作在配置单元 0.14 上不起作用

任何人都知道为什么删除/更新操作在配置单元0.14中不起作用(它应该从0.14版本开始工作)即使我确实按照步骤/格式创建表并得到:FAILED:SemanticException[Error10294]:Attempttodoupdateordeleteusingtransactionmanagerthatdoesnotsupporttheseoperations.运行删除操作。请帮我解决这个问题。CREATETABLESTUDENT(STD_IDINT,STD_NAMESTRING,AGEINT,ADDRESSSTRING)CLUSTEREDBY(ADDRESS)into3bucke

hadoop - hive 0.14更新和删除查询配置错误

在apachehive0.14中,我们可以通过支持ACID配置来更新和删除查询:hive.configuration:hive.support.concurrency–truehive.enforce.bucketing–truehive.exec.dynamic.partition.mode–nonstricthive.txn.manager–org.apache.hadoop.hive.ql.lockmgr.DbTxnManagerhive.compactor.initiator.on–true(forexactlyoneinstanceoftheThriftmetastorese

mysql - 完全删除 MySQL Ubuntu 14.04 LTS

我在我的Ubuntu服务器上弄乱了我的MySQL并且无法修复它。我已经尝试了apt-getremove--purgemysql-server、apt-getautoremove、apt-getpurge、Googled的每一种组合几个小时,一无所获。我真的放弃了。每次我尝试重新安装时都会出错。我受够了。我想删除我服务器上与MySQL关联的每个文件。每次我尝试重新安装时都会收到此错误,这似乎很常见,但没有一个“修复”对我有用。我需要清理我的系统中的所有MySQL。UnabletosetpasswordfortheMySQL"root"userAnerroroccurredwhileset